TASR: Training-Free Adaptive Stopping for Iterative Retrieval
TASR:迭代检索的无训练自适应停止规则
🧭 迭代RAG · 无训练停止策略
San Diego State University · James Silberrad Brown Center for AI · Stanford University · Google DeepMind
提出一个固定的停止谓词,通过重复答案和校准后的logit margin阈值,无需训练就能减少RAG中不必要的检索轮次
📌 工作参考价值(4 点)
- 可直接在现有RAG管线中插入一行代码作为停止条件:重复前轮归一化答案且 isotonically calibrated logit margin > 0.25。对电商问答、多跳商品查询等场景,能在不损失太多精度的情况下大幅降低检索调用次数。
- 发现RLHF调优模型的verbalized置信度极度塌缩(96.5%输出最高分),而logit margin具有44倍的类条件分离度,这提示在依赖LLM自信度进行决策(如Agent中断、推荐解释可信度)时,应避免使用提示词直接索取的置信度分数,转向logit-level信号。
- 通过固定阈值实现跨模型、检索器、语料库的零次迁移,无需针对每个新模型或任务重新训练停止策略,降低了维护成本。对于多智体框架中调用外部工具的轮次控制,可以借鉴这种简单启发式规则作为默认基线。
- 论文从381个候选规则中筛选出Pareto最优规则,这种穷举评估再选择的范式,可以用来为其他agent决策点(如何时触发重排序、何时退出对话)设计低成本、可解释的启发式策略。